Docker Docker快速搭建ollama后台运行模型

ollama是什么

开源框架
‌Ollama是一个开源框架,专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计‌。
其主要特点和功能包括简化部署、轻量级与可扩展性、提供简洁的API支持、
包含预构建模型库、支持从多种平台导入模型、跨平台支持以及命令行工具和环境变量配置。‌

Ollama通过极简的命令行操作简化了模型管理流程,
支持离线运行、多模型并行、私有化部署等场景。
它还提供了一系列预先训练好的大型语言模型,
用户可以直接选用这些模型应用于自己的应用程序,
无需从头训练或自行寻找模型源。

此外,Ollama支持多种大型语言模型,如Llama 3、Mistral、Gemma 2等,
并且提供了详细的文档和社区支持,
使得用户能够轻松地在本地环境中高效利用大型语言模型进行自然语言处理任务。

官方网站: https://ollama.com/
官方github: https://github.com/ollama/ollama

注意访问需要科学上网 ,请自行解决

也可尝试使用手机流量开热点链接,此方法不保证完全可行

Docker安装 ollama

Ollama 支持 Docker 部署,可以使用 Docker 在后台运行。

1. 拉取镜像

1
docker pull ollama/ollama:latest

2. 运行容器

1
docker run -d -v /data/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

-d:在后台运行容器。
-v:挂载,宿主机挂载目录:容器内部挂载目录。
-p: 端口映射,宿主机端口:容器内需要映射端口,ollama对外提供服务端口为11434
–name:为容器指定名称。 

3.运行模型

1
docker exec -it ollama ollama run qwen2.5:1.5b

其中,qwen2.5:1.5b可在替换成需要的模型名称模型可在ollama

官网查找,https://ollama.com/library

关闭交互窗口,通过接口仍可以访问,可以集成到其他需要的系统中

4. 查看容器日志

1
docker logs ollama

一辈子很短,努力的做好两件事就好;
第一件事是热爱生活,好好的去爱身边的人;
第二件事是努力学习,在工作中取得不一样的成绩,实现自己的价值,而不是仅仅为了赚钱;

继开 wechat
欢迎加我的微信,共同交流技术